Substantiation of the backpropagation technique via the Hamilton—Pontryagin formalism for training nonconvex nonsmooth neural networks

The paper observes the similarity between the stochastic optimal control over discrete dynamical systems and the lear ning multilayer neural networks. It focuses on contemporary deep networks with nonconvex nonsmooth loss and activation functions. The machine learning problems are treated as nonconvex nonsmooth stochastic optimization ones. As a model of nonsmooth nonconvex dependences, the so-called generalized differentiable functions are used. A method for calculating the stochastic generalized gradients of a learning quality functional for such systems is substantiated basing on the Hamilton—Pontryagin formalism. This method extends a well-known “backpropagation” machine learning technique to nonconvex nonsmooth networks. Stochastic generalized gradient learning algorithms are extended for training nonconvex nonsmooth neural networks.Простежується аналогія між задачами оптимального керування дискретними стохастичними динамічними системами та задачами навчання багатошарових нейронних мереж. Увага концентрується на вивченні сучасних глибоких мереж з негладкими цільовими функціоналами і зв'язками. Показано, що задачі машинного навчання можуть трактуватися як задачі стохастичного програмування, і для їхнього аналізу застосовано теорію неопуклого негладкого стохастичного програмування. Як модель негладких неопуклих залежностей використано так звані узагальнено диференційовані функції. Обґрунтовано метод обчислення стохастичних узагальнених градієнтів функціонала якості навчання для таких систем на основі формалізму Гамільтона—Понтрягіна. Цей метод узагальнює відомий метод “зворотного просування похибки” на задачі навчання негладких неопуклих мереж. Узагальнені (стохастичні) градієнтні алгоритми навчання поширено на неопуклі негладкі нейронні мережі.Прослеживается аналогия между задачами оптимального управления дискретными стохастическими динамическими системами и задачами обучения многослойных нейронных сетей. Внимание концентрируется на изучении современных глубоких сетей с негладкими целевыми функционалами и связями. Показано, что задачи машинного обучения могут трактоваться как задачи стохастического программирования, и для их анализа применена теория невыпуклого негладкого стохастического программирования. В качестве модели негладких невыпуклых зависимостей использованы так называемые обобщенно дифференцируемые функции. Обоснован метод вычисления стохастических обобщенных градиентов функционала качества обучения для таких систем на основе формализма Гамильтона—Понтрягина. Этот метод обобщает известный метод “обратного распространения ошибки” на задачи обучения негладких невыпуклых сетей. Обобщенные (стохастические) градиентные алгоритмы обучения распространены на невыпуклые негладкие нейронные сети

The Analysis and Optimization of Probability Functions

A problem of probability function optimization is considered. This function represents probability that some random quantity depending on deterministic parameters does not exceed some given level. The problem is motivated by studies of safety domains and risk control problems in complex stochastic systems. For example, pollution control includes maximization of probability that some given levels of deposition at reception points are not exceeded. Optimization of probability function is performed over a given range of parameters. To solve the problem stochastic quasi-gradient method is applied under quasi-concavity assumption on functions and measures involved. Convergence and rate of convergence results are presented

A stochastic smoothing method for nonsmooth global optimization

The paper presents the results of testing the stochastic smoothing method for global optimization of a multiextremal function in a convex feasible subset of the Euclidean space. Preliminarily, the objective function is extended outside the admissible region so that its global minimum does not change, and it becomes coercive.Проблема глобальної оптимізації неопуклих негладких функцій з обмеженнями є актуальною для багатьох інженерних застосувань, зокрема, для навчання неопуклих негладких нейронних мереж. У роботі представлені результати тестування методу згладжування багато екстремальної цільової функції для знаходження її глобального мінімуму в деякої опуклій допустимій області евклідового простору. Попередньо цільова функція довизначається поза опуклої допустимої області так, щоб не змінити її глобального мінімуму, та зробити її коерцитивною.Проблема глобальной оптимизации невыпуклых негладких функций при ограничениях актуальна для многих инженерных приложений, в частности, для обучения невыпуклых негладких нейронных сетей. В работе представлены результаты тестирования метода сглаживания многоэкстремальной целевой функции для нахождения ее глобального минимума в некоторой выпуклой допустимой области евклидового пространства. Предварительно целевая функция доопределяется вне допустимой области так, чтобы не изменить ее глобальный минимум, и сделать ее коэрцитивной

Risk and Extended Expected Utility Functions: Optimization Approaches

The proper analysis of policies under uncertainties has to deal with "hit-or-miss" type situations by using approximate risk functions, which can also be viewed as so-called extended expected utility functions. Formally this often requires the solution of dynamic stochastic optimization problems with discontinuous indicator functions of such events as ruin, underestimating costs and overestimating benefits. The available optimization techniques, in particular formulas for derivatives of risk functions, may not be applicable due to explicitly unknown probability distributions and essential discontinuities. The aim of this paper is to develop a solution technique by smoothing the risk function over certain parameters, rather than over decision variables as in the classical distribution (generalized functions) theory. For smooth approximations we obtain gradients in the form of expectations of stochastic vectors which can be viewed as a form of stochastic gradients for the original risk function. We pay special attention to optimization of risk functions defined on trajectories of discrete time stochastic processes with stopping times, which is critically important for analyzing regional vulnerability against catastrophes

Constrained Optimization of Discontinuous Systems

In this paper we extend the results of Ermoliev, Norkin and Wets [8] and Ermoliev and Norkin [7] to the case of constrained discontinuous optimization problems. In contrast to [7] the attention is concentrated on the proof of general optimality conditions for problems with nonconvex feasible sets. Easily implementable random search technique is proposed

Normalized Convergence in Stochastic Optimization

A new concept of (normalized) convergence of random variables is introduced. The normalized convergence in preserved under Lipschitz transformations. This convergence follows from the convergence in mean and itself implies the convergence in probability. If a sequence of random variables satisfies a Limit theorem then it in a normalized convergent sequence. The introduced concept is applied to the convergence rate study of a statistical approach in stochastic optimization

On Nonsmooth Problems of Stochastic Systems Optimization

A class of stochastic optimization problems is analyzed that cannot be solved by deterministic and standard stochastic approximation methods. We consider risk control problems, optimization of stochastic networks and discrete event systems, screening irreversible changes, pollution control. The results of Ermoliev, Norkin, Wets [11] are extended to the case of problems involving random variables and general constraints. It is shown that the concept of mollifier subgradient leads to easily implementable computational procedures for stochastic systems with Lipschitz and discontinuous expectation functions. New optimality conditions are formulated enabling to design stochastic search procedures for constrained optimization of discontinuous systems

B&B method for discrete partial order and quasiorder optimizations

The paper extends the Branch and Bound (B&B) method to find all nondominated points in a partially or quasiordered space. The B&B method is applied to the so-called constrained partial/quasi order optimization problem, where the feasible set is defined by a family of partial/quasi order constraints. The framework of the generalized B&B method is standard, it includes partition, estimation, and pruning steps, but bounds are different, they are setvalued. For bounding, the method uses a set ordering in the following sense. One set is "less or equal" than the other set if, for any element of the first set, there is a "greater or equal" element in the second one. In the B&B method, the partitioning is applied to the parts of the original space with nondominated upper bounds. Parts with small upper bounds (less than some lower bound) are pruned. Convergence of the method to the set of all nondominated points is established. The acceleration with respect to the enumerative search is achieved through the group evaluation of elements of the original space.У роботі метод гілок і меж/оцінок (B&B-метод) поширюється на задачі пошуку недомінованих елементів у частково або квазіупорядкованій множині. B&B-метод застосовується до задач оптимізації, де допустима множина сама визначається сімейством квазіпорядків. Структура узагальненого B&B-методу є стандартною: він включає в себе розбиття на підзадачі, оцінювання підзадач і відбраковування підзадач, але оцінки підзадач відрізняються, вони можуть бути множинами. Для оцінювання підзадач метод використовує впорядкування множин у такому сенсі. Одна множина “менша або дорівнює” іншій, якщо для будь-якого елемента першої множини існує “більший або рівний” елемент у другій. У B&B-методі розбиття застосовується до підзадач з недомінованими верхніми оцінками. Підзадачі з малими верхніми оцінками (менше деякої нижньої оцінки) видаляються. Встановлено збіжність методу до множини всіх недомінованих елементів. Прискорення по відношенню до переборного пошуку досягається за рахунок групової оцінки елементів вихідного простору.В работе метод ветвей и границ (B&B-метод) распространяется на задачи поиска недоминируемых точек в частично или квазиупорядоченном множестве. B&B-метод применяется к задачам оптимизации, где допустимое множество само определяется семейством квазипорядков. Структура обобщенного B&B-метода является стандартной: он включает в себя разбиение на подзадачи, оценки подзадач и отбраковку подзадач, но оценочные границы отличаются, они могут быть множествами. Для оценивания подзадач метод использует упорядочение множеств в следующем смысле. Одно множество “меньше или равно” другому, если для любого элемента первого множества существует “больший или равный” элемент во втором. В B&B-методе разбиение применяется к подзадачам с недоминируемыми верхними границами. Подзадачи с малыми верхними границами (меньше некоторой нижней границы) удаляются. Установлена сходимость метода к множеству всех недоминированных точек. Ускорение по отношению к переборному поиску достигается за счет групповой оценки элементов исходного пространства